Ông nội Lê Đức Anh là Lê Thảng (6 tháng 11 năm 1861 – 11 tháng 5 năm 1939), quê quán tại xứ Truất, làng Bàn Môn, xã Lộc An, huyện Phú Lộc, tỉnh Thừa Thiên – Huế.[1] Cụ Lê Thảng là nông dân, từng tham gia Phong trào Cần Vương. Cụ Lê Thảng kết hôn với bà Cung Thị Quyến sinh ra sáu người con, hai trai và bốn gái, trong đó có Lê Quang Túy (sinh ngày 25 tháng 11 năm 1885), con trai cả, là thân phụ Lê Đức Anh.[1] Lê Quang Túy kết hôn với bà Lê Thị Thoa (sinh năm 1886) sinh ra Lê Văn Giác, chính là tên khai sinh của Lê Đức Anh, vào ngày 1 tháng 12 năm 1920 tại một căn nhà tranh của cha mẹ nuôi cụ Lê Quang Túy ở làng Trường Hà, huyện Phú Vang, tỉnh Thừa Thiên – Huế.[1][2] Lê Quang Túy và bà Lê Thị Thoa có với nhau 13 người con, tất cả đều sinh ở làng Trường Hà, huyện Phú Vang, Huế, 4 người chết từ lúc còn nhỏ, còn 9 người, 2 trai và 7 gái[1][3]. Lê Văn Giác là con thứ bảy trong chín người con.[4] Lê Hữu Độ, anh trai Lê Văn Giác, sau này là cán bộ phụ trách trại chăn nuôi của Bộ Công an Việt Nam.[5][6] Lê Văn Giác có ba người chị gái là Lê Thị Ngọc Tỷ (đã mất), Lê Thị Kha (đã mất) và Lê Thị Hiệp (đã mất),[1][4] và hai em gái là bà Lê Thị Thể (làm nghề buôn bán ở thành phố Đà Nẵng) và bà Lê Thị Xoan (công tác tại Trường Trung cấp Y tế Huế, đã nghỉ hưu và hiện đang sống tại Huế).[1]

Ông Lê Thảng và ông Lê Quang Túy có thêm nghề thầy thuốc nên cuộc sống gia đình ông đỡ vất vả hơn người dân trong làng, vốn rất nghèo.[1] Tuy vậy, ông bà Lê Quang Túy gia đình đông con nên phải vừa làm ruộng, vừa chữa bệnh, vừa đi làm thuê để kiếm sống.[1]

Lê Văn Giác thông minh nên được ưu tiên ăn học. Lên 5 tuổi, cậu được học chữ Nho tại nhà. Từ 6 tuổi đến 10 tuổi, Lê Văn Giác học chữ Quốc ngữ ở làng Dưỡng Mong và Trường An Lương Đông, huyện Phú Lộc.[1] Sau một trận dịch bệnh đậu mùa, mắt trái Lê Văn Giác bị hỏng, chân yếu không thể đi lại. Cậu phải tập luyện một năm mới trở lại bình thường.[1] Vào năm đầu tiên đi học, cha mẹ Lê Văn Giác đổi tên cho cậu thành Lê Đức Anh theo lời khuyên của thầy giáo để cậu được ngồi bàn đầu tiên để nhìn cho rõ vì mắt kém.[1]

Vào năm 11 tuổi, Lê Đức Anh được cho ra học tiểu học ở thành Vinh, Nghệ An dưới sự nuôi dạy của chị gái Lê Thị Hiệp (tức Nở) và anh rể Trần Quát, người cùng làng, làm nghề dạy học ở thành Vinh.[1] Lê Đức Anh học chương trình tiểu học bằng tiếng Pháp. Sau khi xong tiểu học, cậu trở về Phú Vang, Huế làm nông giúp cha mẹ.[1]

Năm 15 tuổi, Lê Đức Anh làm gia sư dạy chữ Quốc ngữ cho một số trẻ em làng Dưỡng Mong, huyện Phú Lộc, tỉnh Thừa Thiên – Huế.[7]

Nhận xét về tính cách của Lê Đức Anh, theo lời thượng tướng Nguyễn Chí Vịnh, Lê Đức Anh là người rất khắt khe, nguyên tắc trong công việc; ít nói, lắng nghe cấp dưới một cách tập trung, chăm chú; ghét tính dối trá, cẩu thả, thiếu trách nhiệm.[8] Theo ông Cù Huy Hà Vũ, Lê Đức Anh là người tiết kiệm và chân thành.[9]